ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
ReaDy：循环状态作为动态上下文加速混合线性注意力大模型投机解码
🧭 LLM 投机解码加速 · 循环状态
StartLux · University of Chinese Academy of Sciences · The University of Hong Kong
首个利用混合线性注意力循环状态做位置特定上下文检索的投机解码方法，平均3.16倍解码加速
📌 工作参考价值（4 点）
- 如果业务里用 Hybrid Linear Attention 类模型（如 Qwen3、Gated DeltaNet 等）做对话式电商助手或 Agent 长链路生成，可以把目标模型已计算过的 recurrent states 作为草稿模型的辅助上下文，而不是只用最后层 hidden states；这类状态累积历史 token 关联，对预测后续位置更有帮助。
- 工程实现上，参考 ReaDy 的低秩状态读取（low-rank state reads）和 fused operators：将额外上下文投影到低秩空间再融合进 draft representation，避免草稿模型显存带宽和 I/O 显著增加，适合在线推理服务做低延迟 speculate。
- 采用两阶段轻量适配：先冻结 backbone 只训练 query/reader，微调 sequential prediction head；这种改造方式可在已部署的生成模型上低成本引入投机解码，无需全量重训，利于快速线上验证。
- 论文在单卡 B200 上对 Qwen3.8-27B 平均 3.16x 加速，吞吐比 DSpark 提高 7.97%。如果业务需要大量长文本生成（自动文案、Agent planning、多轮推荐解释），可以把 speculative decoding 作为默认推理优化方案之一。